线性回归模型

$$y=\beta_0+\beta_1 x +\epsilon$$

线性回归方程

$$E(y|x)=\beta_0+\beta_1 x$$

假设见计量经济学回顾

最小二乘估计

目标函数为

$$min \ Q=\sum_{i=1}^n \hat{u}_i^2=\sum_{i=1}^n (y_i-\hat{\beta_0}-\hat{\beta_1} x_i)^2$$

对各个回归系数求偏导，得到正规方程

$$\left\{\begin{matrix} \frac{\partial Q}{\partial \beta_0}=-2 \sum_{i=1}^n (y_i-\beta_0-\beta_1 x_i) \\ \frac{\partial Q}{\partial \beta_1}=-2 \sum_{i=1}^n (y_i-\beta_0-\beta_1 x_i)x_i \end{matrix}\right.$$

令正规方程组（各个偏导数）等于0，可以得到回归系数的OLS估计。

$$\hat{\beta_1}=\frac{\sum_{i=1}^n (x_i-\bar{x})(y_i-\bar{y})}{\sum_{i=1}^n (x_i-\bar{x})^2}=\frac{l_{xy}}{l_{xx}}$$

其中，$l_{xy}=\sum_{i=1}^n (x_i-\bar{x})(y_i-\bar{y})$，$l_{xx}=\sum_{i=1}^n (x_i-\bar{x})(x_i-\bar{x})$

$$\hat{\beta_1}=\bar{y}-\hat{\beta_1} \bar{x}$$

由正规方程组形式还可以知道，估计出来的残差具有如下性质：

$$\left\{\begin{matrix} \frac{\partial Q}{\partial \beta_0} |_{\beta_0=\hat{\beta_0}}=-2 \sum_{i=1}^n (y_i-\hat{\beta_0}-\hat{\beta_1} x_i)=-2\sum_{i=1}^n \hat{u}_i=0 \\ \frac{\partial Q}{\partial \beta_1} |_{\beta_1=\hat{\beta_1}}=-2 \sum_{i=1}^n (y_i-\hat{\beta_0}-\hat{\beta_1} x_i)x_i=-2 \sum_{i=1}^n \hat{u}_i x_i=0 \end{matrix}\right.$$

即残差之和为0，残差$\hat{u}$和$X$之间内积为零。

$\beta_0, \beta_1$的方差

$$\begin{split} var(\hat{\beta_1}) & =var(\frac{\sum_{i=1}^n (x_i-\bar{x})(y_i-\bar{y})}{\sum_{i=1}^n (x_i-\bar{x})^2}) \\ & =var(\frac{\sum_{i=1}^n (x_i-\bar{x})y_i}{\sum_{i=1}^n (x_i-\bar{x})^2}) \\ & =\frac{1}{l_{xx}^2} \sum_{i=1}^n (x_i-\bar{x})^2var(y_i) \\ & =\frac{1}{l_{xx}^2} l_{xx} \sigma^2 \\ & =\frac{1}{l_{xx}} \sigma^2 \end{split}$$ $$\begin{split} \hat{\beta_0} & =\bar{y}-\hat{\beta_1}\bar{x} \\ &= \frac{1}{n} \sum_{i=1}^n y_i -\bar{x} \frac{l_{xy}}{l_{xx}} \\ & = \sum_{i=1}^n \frac{1}{n} y_i- \frac{\bar{x}}{l_{xx}} \sum_{i=1}^n (x_i-\bar{x})y_i \\ & =\sum_{i=1}^n (\frac{1}{n}-\frac{\bar{x}(x_i-\bar{x})}{l_{xx}}) y_i \end{split}$$

所以，$var(\hat{\beta_0})=\frac{\sum_{i}^n x_i^2/n}{l_{xx}} \sigma^2$。以上结果告诉我们，收集数据的时候，应该考虑使$x$的取值尽可能分散，样本量也要尽可能的大

$\beta_0, \beta_1$的协方差

$$\begin{split} cov(\hat{\beta_0},\hat{\beta_1})&=E[(\hat{\beta_0}-E(\hat{\beta_0}))(\hat{\beta_1}-E(\hat{\beta_1}))] \\ & = -\bar{x} E(\hat{\beta_1}-\beta_1)^2 \\ & = - \bar{x} var(\hat{\beta_1}) \end{split}$$

残差性质

残差一样是随机变量，$e_i=\hat{u_i}=y_i-\hat{y_i}=y_i-\hat{\beta_0}-\hat{\beta_1}x_i$，其均值$E(e_i)=0$是显而易见的。

$$var(e_i)=[1-\frac{1}{n}-\frac{(x_i-\bar{x})^2}{l_{xx}}]\sigma^2=(1-h_{ii})\sigma^2$$

其中$h_{ii}=\frac{1}{n}+\frac{(x_i-\bar{x})^2}{l_{xx}}$ 称为杠杆值。$0<h_{ii}<1$，当$x_i$靠近$\bar{x}$时，$h_{ii}$的值接近于0，相应的残差方差就大；当$x_i$远离$\bar{x}$时，$h_{ii}$的值接近于1，相应的残差方差就小。这条性质可能使读者意外，实际上，远离$\bar{x}$的值必然较少，回归线比较容易“照顾”这些少数点，使得回归线接近这些点，因而远离$\bar{x}$附近的$x_i$相应的残差方差较小。

在残差分析中，一般认为超过$\pm 2\sigma$或$\pm 3\sigma$的残差为异常值，考虑到普通残差的方差不等，故引入以下改进的残差。

标准化残差

$$ZRE_i=\frac{e_i}{\hat{\sigma}}$$

学生化残差

$$SRE_i=\frac{e_i}{\hat{\sigma}\sqrt{1-h_{ii}}}$$

标准化残差使残差具有可比性，但没有解决方差不等的问题，学生化残差的方差相等，优于标准化残差，因为类似t统计量的构造方式，所以称之为学生化残差。

区间预测

区间预测分为两种类型，有的教科书说均值预测和个值预测，何晓群的《应用回归分析》的区间预测分为因变量新值的区间预测和因变量新值的平均值的区间预测。

因变量新值的区间预测

$$var(\hat{y}_0)=[\frac{1}{n}+\frac{(x_i-\bar{x})^2}{l_{xx}}]=h_{00}\sigma^2$$

所以有$\hat{y}_0 \sim N(\beta_0+\beta_1 x_0,h_{00}\sigma^2)$

因变量新值的平均值的区间预测

由于$\hat{y}_0$是先前独立观测的随机变量的线性组合，现在的新值$y_0$是与先前观测值独立的，所以$y_0$与$\hat{y}_0$相互独立。有

$$y_0-\hat{y}_0 \sim N(0,(1+h_{00})\sigma^2$$

据此可以推断$y_0$的置信区间。

---

• ← Previous Post
• Next Post →